KARMA：工业广告 Agent 的无训练知识原子化 Harness 演化
🧭 Agent harness 无训练知识演化 ★ 深度解读
Alibaba International Digital Commerce Group
冻结模型权重与可执行 harness，以六类类型化知识模块的原子编辑+验证门控，使广告 Agent 离线动作一致性平均提升 29.7%
📌 工作参考价值（4 点）
- 把 prompt/harness 拆成可版本化的知识模块：role、domain、experience、constraints、output_protocol、action_descriptions 六类模块，规则带稳定 rule ID、来源、before/after journal，所有变更走唯一 write boundary。电商/广告 Agent 可借此在不改代码、不微调模型的情况下，按商品/活动/政策变化审计和回滚决策知识。
- 先做确定性轨迹诊断，再做知识编辑：Trace Verifier 不用 LLM 就把失败分为 no_action / wrong_action_type / wrong_direction，并按固定映射定位候选模块；同时把成功和失败轨迹都送给 Critic。能避免只看失败导致修复过拟合、破坏已有正确决策，适合推荐/广告策略中“该不该调、调哪里”的归因场景。
- 小步编辑 + 验证门控 + 快照回滚：每轮最多 3 个原子 edit，固定 validation set 要求 gain≥1 point 才保留，否则恢复 snapshot；可缓存 baseline validation，避免每轮 2 次全量评估，工程成本可控。可直接复用到电商 Agent 的离线知识更新流程，降低上线风险。
- 跨域知识复用要分源域评估：Long-tail/Others 域演化出的规则对多数目标域都有正向迁移，平均 hold-out gain +15.38；但 Automotive 源域对所有其他域都负迁移。若要做跨品类 Agent 知识冷启动，优先用长尾/综合流量积累的通用规则，但仍需在目标域做验证，不能假设迁移一定为正。
三位一体：能力驱动的多模态智能体递归自改进
🧭 多模态 Agent 递归自改进
The Trinity Research Team
提出 Trinity 框架，通过 Creator/Explorer/Evolver 将任务重组为能力树，递归进化 Harness 并路由选择
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的 Agent 工作流里，可以按底层能力需求而非业务场景（搜索、推荐、广告）来组织任务与模块：定期用已验证执行轨迹重新聚类任务，把“表面 query 分类”换成“能力树”，减少场景间重复建设。
- 借鉴 Capability-Driven Real2Sim2Real：用历史日志或仿真沙箱构造简化的可验证环境，让 Agent 先做离线能力学习，再在原任务上评估迁移；适合在推荐文案生成、Query 改写等高频能力上做低成本迭代。
- 参考 Harness 树 + Capability-Aware Router 的做法：维护一组可复用的 Harness/模块配置，不改动整体拓扑，只在固定拓扑内累积验证更新；再根据公开任务元信息（如 query 类型、商品类目）路由到不同模块组合，类似多任务 MoE 的轻量路由。
- 对具身或多模态业务场景，优先抽取共享能力做仿真训练，而不是为每个异构场景单独建环境；实测在 unseen benchmark 上仍有 26 分提升，说明能力抽象具备迁移性。
面向对象 Harness：用继承与路由进化 Agent 执行框架
🧭 Agent harness 分层进化与路由 ★ 深度解读
University of Illinois Urbana-Champaign · Google Cloud AI Research
用继承构建可复用 harness 类并基于执行轨迹路由，三基准最高提升15.79个百分点
📌 工作参考价值（4 点）
- 面向 Agent 工作流：不要用单一 global harness/prompt 硬扛所有场景。把 harness 代码按业务任务聚类做子类继承，公共能力留在父类，差异用 override/add method，回归风险更小、维护更清晰。
- 路由时同时输入 task metadata 和观测到的 base 执行轨迹（工具调用、错误模式、输出格式），并沉淀 routing lessons；在 AutomationBench 这类跨域执行中，轨迹信息可带来 12.64 点提升，比仅看任务描述更可靠。
- 保留 base harness 作为兜底，路由不确定或 OOD 任务直接复用 base 结果，避免强制用不合适的 specialist；论文中 OOD 场景下 Base 复用保持 59.18 PASS，而 global harness 降到 44.90。
- 训练/搜索效率：只在该任务簇上评估候选 harness，不必 rerun 整个发现集；可作为 LLM agent 自动化调参的工程优化，显著降低 API 成本（论文中搜索时长 29h vs 109h）。
Harness-Delta 归因：拆解 Agent Harness 进化的性能增益来源
🧭 Agent 评测与进化增益归因
Amazon · New York University
提出 HDA 协议，将 harness 进化增益归因为 overfitting、test-time scaling 与 residual 三类
📌 工作参考价值（4 点）
- 在做 Agent 搜索结果页策略、推荐链路 prompt/tool 搜索时，引入 HDA 式分解：对 search set 的 lift 拆成 artifact overfitting、inference compute scaling 与 residual；只报验证集不够。
- 必须设置 held-out tasks/跨类目流量做泛化验证；电商 query 推荐、广告文案生成等场景，benchmark 相似 query 的增益常不迁移到真实分布。
- 对加入多采样、投票、更多推理步数的方案，单独量化 test-time scaling 贡献，避免把“多算力带来的提升”误判为 harness 设计有效。
- 用 artifact-driven probes（如检测规则式捷径、重复输出短路）暴露过拟合；可在推荐 Agent 中设计反事实或干扰样例来检查泛化。
RSIFlow：自适应自改进工作流与演化元Agent
🧭 Agent 递归自改进与元演化 ★ 深度解读
Beihang University · Tsinghua University · Beijing Academy of Artificial Intelligence (BAAI)
提出 RSIFlow，将自适应工作流编排与元Agent harness 演化耦合，动态诊断瓶颈并更新模型/框架/工件，6基准11/12领先
📌 工作参考价值（4 点）
- 将搜索推荐系统中的多类组件（召回/排序/重排模型、prompt/规则、索引/内容/策略配置）抽象为 Model/Harness/Artifacts 三种可更新目标，由 Meta-Agent 根据线上失败轨迹和 A/B 反馈诊断瓶颈，动态选择“微调模型 / 改 prompt 或规则 / 修内容或索引”，避免固定优化路径。
- 借鉴 Harness 三组件抽象 Action/Skill/Planning 管理推荐 Agent 的 prompt 与工具调用规则；用结构化技能库存储“当出现 XX 失败时→修改 YY→保留 ZZ”的经验，通过 Add/Supplement/Revise/Merge 持续维护，降低重复调优成本。
- Meta-Agent 模型参数冻结、只更新其 harness（提示词/技能库/规划规则），能以较低成本迭代编排策略；在需要频繁调整策略的广告投放、活动选词、push 文案场景尤其适用。
- 采用“所有候选共享同一 parent + 统一评估 batch + 正增益才接受”的批量更新策略，可防止无效更新累积，并让失败尝试也作为负证据进入经验库，提升更新稳定性。
ScienceBuddy：交互式科学智能体的递归自改进
🧭 科学智能体 · 递归自改进
发布 ScienceBuddy 科学工作空间，以递归内外双循环耦合 harness 演化与模型强化学习
📌 工作参考价值（4 点）
- 将用户反馈转化为训练任务与评估 rubrics：电商/推荐 Agent 可借鉴，把用户点击、拒绝、改写等交互行为和执行结果自动转成带评分的训练样本，持续优化推荐策略，而非只靠离线日志。
- 内外双循环解耦模型与工具链迭代：内层固定模型优化工具/harness，外层在改进后的 harness 下训练模型。业务上可先完善 Agent 的工具调用、API 接口、记忆管理等，再逐步 RL 训练模型，降低同时改动带来的不稳定。
- 多模态工作空间 + 模块化工具集成：ScienceBuddy 的 224 tools / 22 modules 架构启示电商 Agent 平台可将商品图、评论、表格、用户序列等不同模态数据统一接入，按任务模块化编排工具，支持快速扩展。
- 执行证据纳入持续学习：把 Agent 执行过程中的中间步骤、失败信号作为训练经验，可用于改进搜索推荐 Agent 的 query 改写、商品对比、决策链路，提升可解释性与可靠性。
EVOHARNESSBENCH：评测 Agent 应对演进式 Harness 的基准
🧭 Agent 评测基准 · Harness 演化
Salesforce AI Research
首个将非平稳性置于外部 Harness 的 Agent 评测基准，揭示工具/技能/智能体扩充带来的遗忘与适应冲突。
📌 工作参考价值（4 点）
- 在电商 Agent 系统中新增工具、技能或子 Agent 时，必须配套回归评测：将旧任务集作为固定验证集，持续监控新版本上线是否导致旧能力退化（harness-induced forgetting）。
- 工具/技能库应按版本管理，支持回滚；新增能力时优先采用可插拔、模块化设计，避免全局改写路由或提示导致旧行为被覆盖。
- 自演化经验回放并非总能提升适应能力，尤其在工具/技能高速迭代时；可考虑按能力轴隔离经验池，或对历史经验做衰减加权，而不是简单均匀回放。
- 业务中“保留旧能力”与“快速适应新能力”可能冲突：部署评估（只测旧任务）和适应评估（只测新任务）需同时报告，不能仅看总体分数。
Evo-Bench：衡量语言模型自主优化智能体框架的能力
🧭 Agent 自我进化能力评估
Gaoling School of Artificial Intelligence, Renmin University of China · BOSS Zhipin, Beijing, China
首个跨搜索、办公、通用领域的基准，评估LLM自主进化智能体harness的能力，发现搜索优势与早饱和现象
📌 工作参考价值（4 点）
- 在设计电商搜索或推荐 Agent 时，可让 LLM 自动优化其工作流程（harness），借鉴“辅助任务进化”方法来筛选对框架敏感的任务，降低试错成本。
- 注意早饱和现象：迭代优化时设置提前停止条件，避免过度优化导致性能停滞，适用于高频率在线场景。
- 合成的 harness 作为可迁移的推理模板，跨不同推荐模型复用，可沉淀为内部知识库，统一提升效果。
- 评估自主进化能力时需隔离基座模型强度与框架贡献，可参考“敏感度感知分层划分”防止过拟合到特定任务集。
重新审视智能体 Harness 进化的评估
🧭 Agent Harness 进化评估
Allen Institute for AI · University of Washington · Independent
自动 Harness 进化在公平比较下未超越简单测试时搜索，且泛化有限，呼吁新评估协议
📌 工作参考价值（4 点）
- 公平基线设计：在为业务 Agent 引入自动 Harness 优化时，必须以简单 test-time scaling（如多次采样投票）为基线，匹配推理预算，确保增益来自设计改进而非额外搜索。
- 防过拟合拆分：搜索配置与最终评估必须使用不同任务集，避免在公共 benchmark 上循环优化导致的过拟合，提升上线后的泛化性。
- 谨慎采用自动进化：实验显示自动 Harness 进化并不稳定优于简单基线，落地时优先考虑可靠的固定 Harness，仅当有强泛化证据时才投入自动搜索。
- 关注现实迁移：评估 Harness 时增加留出任务集测试，模拟业务中分布外场景，防止在熟悉任务上虚高，确保 Agent 在真实多变环境中有效。